Identificación de factores clave de éxito para evitar las pruebas automatizadas no determinísticas en servicios REST

A flaky test is a test which could fail or pass for the same version of a certain software code. In continuous software development environments, flaky tests represent a problem. It is difficult to get an effective and reliable testing pipeline with a set of flaky tests. Also, according to many practitioners, despite the persistence of flaky tests in software development, they have not drawn much attention from the research community. In this paper, we describe how a company faced this issue, and implemented solutions to solve flaky tests for REST web services. The paper concludes proposing a set of key success factors for stopping flaky tests in this type of testing.Una prueba no determinística es una prueba que podría fallar o ser exitosa con la misma versión de un determinado código de software. En entornos de desarrollo de software continuo, las pruebas no determinísticas representan un problema. Es difícil obtener un proceso de pruebas efectivo y confiable con pruebas no determinísticas. Además, de acuerdo con muchos profesionales, a pesar de la persistencia de este tipo de pruebas, las mismas no han llamado mucho la atención de la comunidad científica. En este trabajo, describimos cómo una empresa se ha enfrentado este problema e implementado soluciones para resolver pruebas no determinísticas en servicios REST. Al final, se proponen un conjunto de factores clave de éxito para evitar este problema en pruebas de servicios.Facultad de Informátic

Modelo de mejora para pruebas continuas

La Entrega Continua es una práctica donde se desarrolla software de calidad de un modo en el que puede ser lanzado a producción en cualquier momento. Sin embargo, como parte de este trabajo de investigación se realizaron una revisión sistemática de la literatura y una encuesta, las cuales reportan que tanto la literatura académica como la industria todavía encuentran problemas relacionados con el proceso de pruebas al usar prácticas como Entrega Continua o Despliegue Continuo. De este modo, se propone el Modelo de Mejora para Pruebas Continuas como una solución a los problemas de pruebas en los entornos de desarrollo continuo. El mismo recopila propuestas y enfoques de diferentes autores que son presentados como buenas prácticas, agrupadas por tipos de pruebas y divididos en cuatro niveles. Estos niveles indican una jerarquía de mejora y un camino evolutivo en la implementación de las Pruebas Continuas. Además, una herramienta llamada EvalCTIM fue desarrollada para guiar la evaluación del proceso de pruebas utilizando el modelo propuesto. Finalmente, para validar el modelo, se empleó el método de Investigación-Acción mediante una evaluación teórica interpretativa seguida de estudios de casos llevados a cabo en proyectos de desarrollo de software reales. Los resultados demuestran que el modelo se puede utilizar como una solución para implementar las Pruebas Continuas de forma gradual en empresas con entornos de desarrollo continuo.Continuous Delivery is a practice where high-quality software is built in a way that it can be released into production at any time. However, a systematic literature review and a survey performed as part of this research report that both the literature and the industry are still facing problems related to testing using practices like Continuous Delivery or Continuous Development. Thus, we propose Continuous Testing Improvement Model as a solution to the testing problems in continuous software development environments. It brings together proposals and approaches from different authors which are presented as good practices grouped by type of tests and divided into four levels. These levels indicate an improvement hierarchy and an evolutionary path in the implementation of Continuous Testing. Also, an application called EvalCTIM was developed to support the appraisal of a testing process using the proposed model. Finally, to validate the model, an action-research methodology was employed through an interpretive theoretical evaluation followed by case studies conducted in real software development projects. The results demonstrate that the model can be used as a solution for implementing Continuous Testing gradually at companies using continuous software development practices.Facultad de Informátic

Problemas que afectan a la calidad de software en entrega continua y pruebas continuas

Muchas organizaciones que desarrollan software de manera ágil buscan adoptar el enfoque de entrega continua, el cual permite la liberación del software a producción en cualquier momento. Sin embargo, uno de los principales desafíos es mantener la calidad del mismo gestionando adecuadamente el tiempo que se invierte en las pruebas. En este sentido, se han reportado numerosos problemas relacionados con la calidad del software al adoptar este enfoque. Asimismo, algunos autores y empresas han propuesto soluciones para hacer frente a algunos de ellos, pero surge el interrogante de si las pruebas continuas son el elemento clave para estas prácticas. En este trabajo, se presenta un resumen de los principales problemas que afectan a la calidad de software en entrega continua y la relación que existe entre los mismos. Al final, se propone como resultado del análisis de estudios previos una definición al concepto de “pruebas continuas".XV Workshop Ingeniería de Software (WIS)Red de Universidades con Carreras en Informática (RedUNCI

Framework para la creación y ejecución de pruebas automatizadas sobre servicios REST

La arquitectura REST emerge como alternativa al diseño de servicios web, con mayor simpleza que SOAP y los servicios basados en WSDL, haciendo que las pruebas sobre esta arquitectura cobren mayor relevancia. Si bien existen muchas herramientas disponibles, muy pocas pueden integrarse a un proceso de desarrollo continuo de software, donde el tiempo es un factor clave. En este trabajo, partiendo de los principios de esta arquitectura y los fundamentos de pruebas unitarias, se propone un framework para pruebas sobre servicios REST que puede ser integrado a este tipo de entornos. El mismo ha sido implementado en una empresa de desarrollo software multinacional con gran éxito. Se ha comprobado la disminución en un 90% del tiempo para realizar regresiones automatizadas y refactorizaciones en un entorno de integración continua. Finalmente, la utilización de herramientas para ejecutar pruebas automáticas, ha permitido otro tipo de mejoras, como la generación automática de reportes.XIII Workshop Ingeniería de Software (WIS).Red de Universidades con Carreras en Informática (RedUNCI

Problemas que afectan a la calidad de software en entrega continua y pruebas continuas

Muchas organizaciones que desarrollan software de manera ágil buscan adoptar el enfoque de entrega continua, el cual permite la liberación del software a producción en cualquier momento. Sin embargo, uno de los principales desafíos es mantener la calidad del mismo gestionando adecuadamente el tiempo que se invierte en las pruebas. En este sentido, se han reportado numerosos problemas relacionados con la calidad del software al adoptar este enfoque. Asimismo, algunos autores y empresas han propuesto soluciones para hacer frente a algunos de ellos, pero surge el interrogante de si las pruebas continuas son el elemento clave para estas prácticas. En este trabajo, se presenta un resumen de los principales problemas que afectan a la calidad de software en entrega continua y la relación que existe entre los mismos. Al final, se propone como resultado del análisis de estudios previos una definición al concepto de “pruebas continuas".XV Workshop Ingeniería de Software (WIS)Red de Universidades con Carreras en Informática (RedUNCI

Problemas que afectan a la calidad de software en entrega continua y pruebas continuas

Muchas organizaciones que desarrollan software de manera ágil buscan adoptar el enfoque de entrega continua, el cual permite la liberación del software a producción en cualquier momento. Sin embargo, uno de los principales desafíos es mantener la calidad del mismo gestionando adecuadamente el tiempo que se invierte en las pruebas. En este sentido, se han reportado numerosos problemas relacionados con la calidad del software al adoptar este enfoque. Asimismo, algunos autores y empresas han propuesto soluciones para hacer frente a algunos de ellos, pero surge el interrogante de si las pruebas continuas son el elemento clave para estas prácticas. En este trabajo, se presenta un resumen de los principales problemas que afectan a la calidad de software en entrega continua y la relación que existe entre los mismos. Al final, se propone como resultado del análisis de estudios previos una definición al concepto de “pruebas continuas".XV Workshop Ingeniería de Software (WIS)Red de Universidades con Carreras en Informática (RedUNCI

Framework para la creación y ejecución de pruebas automatizadas sobre servicios REST

La arquitectura REST emerge como alternativa al diseño de servicios web, con mayor simpleza que SOAP y los servicios basados en WSDL, haciendo que las pruebas sobre esta arquitectura cobren mayor relevancia. Si bien existen muchas herramientas disponibles, muy pocas pueden integrarse a un proceso de desarrollo continuo de software, donde el tiempo es un factor clave. En este trabajo, partiendo de los principios de esta arquitectura y los fundamentos de pruebas unitarias, se propone un framework para pruebas sobre servicios REST que puede ser integrado a este tipo de entornos. El mismo ha sido implementado en una empresa de desarrollo software multinacional con gran éxito. Se ha comprobado la disminución en un 90% del tiempo para realizar regresiones automatizadas y refactorizaciones en un entorno de integración continua. Finalmente, la utilización de herramientas para ejecutar pruebas automáticas, ha permitido otro tipo de mejoras, como la generación automática de reportes.XIII Workshop Ingeniería de Software (WIS).Red de Universidades con Carreras en Informática (RedUNCI

Framework para la creación y ejecución de pruebas automatizadas sobre servicios REST

La arquitectura REST emerge como alternativa al diseño de servicios web, con mayor simpleza que SOAP y los servicios basados en WSDL, haciendo que las pruebas sobre esta arquitectura cobren mayor relevancia. Si bien existen muchas herramientas disponibles, muy pocas pueden integrarse a un proceso de desarrollo continuo de software, donde el tiempo es un factor clave. En este trabajo, partiendo de los principios de esta arquitectura y los fundamentos de pruebas unitarias, se propone un framework para pruebas sobre servicios REST que puede ser integrado a este tipo de entornos. El mismo ha sido implementado en una empresa de desarrollo software multinacional con gran éxito. Se ha comprobado la disminución en un 90% del tiempo para realizar regresiones automatizadas y refactorizaciones en un entorno de integración continua. Finalmente, la utilización de herramientas para ejecutar pruebas automáticas, ha permitido otro tipo de mejoras, como la generación automática de reportes.XIII Workshop Ingeniería de Software (WIS).Red de Universidades con Carreras en Informática (RedUNCI

A Systematic Literature Review in Cross-browser Testing

Many users access web pages from different browsers looking for the same user experience in all of them. However, there are several causes that produce compatibility issues. Those defects affect functionalities and user interface components. In this paper we present a systematic literature review which aims to find and summarize existing techniques, tools and challenges related to crossbrowser testing. According to the results, the most used technique is the visual analysis. However, there are still challenges to face. The most important challenge is the identification of dynamic components in the user interface. Cross-browser compatibility topics are getting importance according to an increment in published articles. Nevertheless, there are techniques that are not completely developed yet and do not fully support test automation practices.Facultad de Informátic

Rapid Releases and Testing Problems at the industry: A survey

Rapid releases and continuous software development are established practices in modern agile projects. The advantages of them are widely known across the software development community, but there are some studies which mention that there are still challenges to face. According to them, there are different open issues which are affecting the implementation of an adequate testing process. With the aim of validating if these problems are present in real projects, in this paper we present the results of a survey whose goal was to validate whether the industry is experiencing similar issues and their causes. The findings demonstrate that both the industry and academic side are aligned, and that there is still a need for processes and tools regarding the testing process in continuous development.XVI Workshop Ingeniería de Software.Red de Universidades con Carreras en Informátic